The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.

Machine Unering是指删除培训数据子集的任务，从而删除其对训练有素的模型的贡献。近似学习是该任务的一类方法，避免了需要在保留数据上从头开始重新研究模型。贝叶斯的规则可用于将近似学习作为推理问题，其中目的是通过划分删除数据的可能性来获得更新后的后部。但是，这有自己的挑战集，因为人们通常无法访问模型参数的确切后验。在这项工作中，我们检查了拉普拉斯近似和变异推理的使用以获得更新的后验。通过对指导示例进行回归任务的神经网络培训，我们在实践场景中就贝叶斯学习的适用性进行了见解。

条件神经过程（CNP; Garnelo等，2018a）是元学习模型，它利用深度学习的灵活性来产生良好的预测，并自然处理网格和缺失的数据。 CNPS缩放到大型数据集并轻松训练。由于这些功能，CNP似乎非常适合来自环境科学或医疗保健的任务。不幸的是，CNP不会产生相关的预测，从而使它们从根本上不适合许多估计和决策任务。例如，预测热浪或洪水需要在时间和空间中对温度或降水的依赖性进行建模。建模输出依赖性的现有方法，例如神经过程（NPS; Garnelo等，2018b）或FullConvgNP（Bruinsma等，2021），要么是复杂的训练或过于昂贵的。需要的是一种提供依赖预测的方法，但可以易于训练和计算障碍。在这项工作中，我们提出了一类新的神经过程模型，这些模型可以简单且可扩展，从而提供相关的预测并支持确切的最大似然训练。我们通过使用可逆输出转换来扩展提出的模型，以捕获非高斯输出分布。我们的模型可以用于需要相关功能样本的下游估计任务中。通过考虑输出依赖性，我们的模型在合成和真实数据的一系列实验上显示出改进的预测性能。

在本文中，我们调查了问题：给定少数DataPoints，例如n = 30，可以严格的CAG-Bayes和测试集界限进行紧张吗？对于这种小型数据集，测试集界限通过从培训程序中扣留数据而产生不利影响泛化性能。在这种环境中，Pac-Bayes界限尤其吸引力，因为它们使用所有数据的能力同时学习后部并结合其泛化风险。我们专注于i.i.d.具有有界损失的数据，并考虑Germain等人的通用Pac-Bayes定理。虽然已知定理恢复许多现有的PAC-Bayes界，但目前尚不清楚他们的框架中最有束缚的终结。对于一个固定的学习算法和数据集，我们表明最紧密的绑定与Catoni考虑的绑定相一致;并且，在更自然的数据集发行情况下，我们在期望中获得最佳界限的下限。有趣的是，如果后部等于先前，则这个下限会恢复绑定的Chernoff测试集。此外，为了说明这些界限有多紧，我们研究了合成的一维分类任务，其中它是可行的 - 学习绑定的先前和形状，以便最有效地优化最佳界限。我们发现，在这种简单，受控的场景中，Pac-Bayes界竞争与可比常用的Chernoff测试集合界限具有竞争​​力。然而，最清晰的测试集界仍然导致泛化误差比我们考虑的Pac-Bayes所界限更好地保证。

我们目睹了软件工程机器人的大量采用，这些应用程序会对用户发布的工具和消息触发的事件做出反应，并在各种域中运行自动化任务。这个主题问题描述了这些机器人的经验和挑战。